在多人2D姿势估计中，自下而上的方法同时预测了所有人的姿势，与自上而下的方法不同，不依赖于人类的检测。但是，与现有的自上而下方法相比，SOTA自下而上的方法的精度仍然不如较低。这是由于预测的人类姿势是根据不一致的人类边界箱中心进行回归的，并且缺乏人类规范的正常化，从而导致预测的人类姿势被遗漏了不准确和小规模的人。为了推动自下而上的姿势估计的信封，我们首先提出了多尺度训练，以增强网络以通过单尺度测试来处理规模变化，尤其是对于小规模的人。其次，我们介绍了双解剖中心（即头部和身体），在这里我们可以更准确，可靠地预测人类的姿势，尤其是对于小规模的人。此外，现有的自下而上方法采用多尺度测试来以多个额外的前向通行证的价格提高姿势估计的准确性，这削弱了自下而上方法的效率，与自上而下的方法相比，核心强度。相比之下，我们的多尺度训练使该模型能够预测单个前向通行证（即单尺度测试）中的高质量姿势。我们的方法在边界框的精度方面取得了38.4 \％的改进，在边界框上进行了39.1 \％的改进，以对可可的具有挑战性的小规模人群进行对现状（SOTA）的回忆（SOTA）。对于人类姿势AP评估，我们在带有单尺度测试的可可测试-DEV集中实现了新的SOTA（71.0 AP）。我们还在跨数据库评估中在Ochuman数据集上实现了最高的性能（40.3 AP）。

Score-based diffusion models have captured widespread attention and funded fast progress of recent vision generative tasks. In this paper, we focus on diffusion model backbone which has been much neglected before. We systematically explore vision Transformers as diffusion learners for various generative tasks. With our improvements the performance of vanilla ViT-based backbone (IU-ViT) is boosted to be on par with traditional U-Net-based methods. We further provide a hypothesis on the implication of disentangling the generative backbone as an encoder-decoder structure and show proof-of-concept experiments verifying the effectiveness of a stronger encoder for generative tasks with ASymmetriC ENcoder Decoder (ASCEND). Our improvements achieve competitive results on CIFAR-10, CelebA, LSUN, CUB Bird and large-resolution text-to-image tasks. To the best of our knowledge, we are the first to successfully train a single diffusion model on text-to-image task beyond 64x64 resolution. We hope this will motivate people to rethink the modeling choices and the training pipelines for diffusion-based generative models.

We propose an extrinsic Bayesian optimization (eBO) framework for general optimization problems on manifolds. Bayesian optimization algorithms build a surrogate of the objective function by employing Gaussian processes and quantify the uncertainty in that surrogate by deriving an acquisition function. This acquisition function represents the probability of improvement based on the kernel of the Gaussian process, which guides the search in the optimization process. The critical challenge for designing Bayesian optimization algorithms on manifolds lies in the difficulty of constructing valid covariance kernels for Gaussian processes on general manifolds. Our approach is to employ extrinsic Gaussian processes by first embedding the manifold onto some higher dimensional Euclidean space via equivariant embeddings and then constructing a valid covariance kernel on the image manifold after the embedding. This leads to efficient and scalable algorithms for optimization over complex manifolds. Simulation study and real data analysis are carried out to demonstrate the utilities of our eBO framework by applying the eBO to various optimization problems over manifolds such as the sphere, the Grassmannian, and the manifold of positive definite matrices.

The lack of standardization is a prominent issue in magnetic resonance (MR) imaging. This often causes undesired contrast variations due to differences in hardware and acquisition parameters. In recent years, MR harmonization using image synthesis with disentanglement has been proposed to compensate for the undesired contrast variations. Despite the success of existing methods, we argue that three major improvements can be made. First, most existing methods are built upon the assumption that multi-contrast MR images of the same subject share the same anatomy. This assumption is questionable since different MR contrasts are specialized to highlight different anatomical features. Second, these methods often require a fixed set of MR contrasts for training (e.g., both Tw-weighted and T2-weighted images must be available), which limits their applicability. Third, existing methods generally are sensitive to imaging artifacts. In this paper, we present a novel approach, Harmonization with Attention-based Contrast, Anatomy, and Artifact Awareness (HACA3), to address these three issues. We first propose an anatomy fusion module that enables HACA3 to respect the anatomical differences between MR contrasts. HACA3 is also robust to imaging artifacts and can be trained and applied to any set of MR contrasts. Experiments show that HACA3 achieves state-of-the-art performance under multiple image quality metrics. We also demonstrate the applicability of HACA3 on downstream tasks with diverse MR datasets acquired from 21 sites with different field strengths, scanner platforms, and acquisition protocols.

本文介绍了Speakin团队提交的SPEAKER验证（SV）系统，该系统针对2022年远场演讲者验证挑战（FFSVC2022）的任务2和任务2。挑战的SV任务集中在完全监督的远场演讲者验证（任务1）和半监督远场扬声器验证（任务2）的问题上。在任务1中，我们将Voxceleb和FFSVC2020数据集用作火车数据集。对于任务2，我们仅将Voxceleb数据集用作火车集。为此挑战开发了基于重新连接和基于REPVGG的架构。全局统计池结构和MQMHA池结构用于跨时间汇总框架级特征，以获得语音级别的表示。我们采用了Am-Softmax和Aam-Softmax来对产生的嵌入进行分类。我们创新提出了一种分阶段的转移学习方法。在训练阶段，我们保留扬声器的权重，并且在此阶段没有积极的样本来训练它们。然后，我们在第二阶段用正面和负样品微调这些权重。与传统的转移学习策略相比，该策略可以更好地改善模型性能。亚均值和标志的后端方法用于解决域不匹配的问题。在融合阶段，任务1中融合了三个模型，并在任务2中融合了两个模型。在FFSVC2022排行榜上，我们提交的EER为3.0049％，在Task1中，相应的MindCF为0.2938。在任务2中，EER和MindCF分别为6.2060％和0.5232。我们的方法可以提高表现出色，并在两项挑战任务中排名第一。

本报告描述了我们针对CN-CELEB演讲者识别挑战2022（CNSRC 2022）任务的发言人验证系统。这项挑战包括两项任务，即演讲者验证（SV）和说话者检索（SR）。 SV任务涉及两个轨道：固定轨道和开放轨道。在固定轨道中，我们仅使用CN-CELEB.T作为训练集。对于SV任务和SR任务的开放轨道，我们添加了开源音频数据。为此挑战开发了基于重新连接的基于RESNET，基于REPVGG和基于TDNN的架构。全局统计池结构和MQMHA池结构用于跨时间汇总框架级特征，以获得语音级别的表示。我们采用了Am-Softmax和Aam-Softmax与子中心方法相结合，以对所得的嵌入进行分类。我们还使用了大规模细微调整策略来进一步提高模型性能。在后端，使用了亚均值和雅语。在SV任务固定轨道中，我们的系统是五个型号的融合，并且在SV任务打开轨道中融合了两个型号。我们在SR任务中使用了一个系统。我们的方法带来了卓越的性能，并成为SV任务的开放轨道，在SV任务的固定轨道中的第二名以及SR任务中的第三名。

提高强化学习样本效率的一种有希望的方法是基于模型的方法，其中在学习模型中可以进行许多探索和评估以节省现实世界样本。但是，当学习模型具有不可忽略的模型误差时，很难准确评估模型中的顺序步骤，从而限制了模型的利用率。本文建议通过引入多步计划来替换基于模型的RL的多步骤操作来减轻此问题。我们采用多步计划价值估计，该估计在执行给定状态的一系列操作计划后评估预期的折扣收益，并通过直接通过计划价值估计来直接计算多步策略梯度来更新策略。新的基于模型的强化学习算法MPPVE（基于模型的计划策略学习具有多步计划价值估计）显示了对学习模型的利用率更好，并且比基于ART模型的RL更好地实现了样本效率方法。

多模式信息在医疗任务中经常可用。通过结合来自多个来源的信息，临床医生可以做出更准确的判断。近年来，在临床实践中使用了多种成像技术进行视网膜分析：2D眼底照片，3D光学相干断层扫描（OCT）和3D OCT血管造影等。我们的论文研究了基于深度学习的三种多模式信息融合策略，以求解视网膜视网膜分析任务：早期融合，中间融合和分层融合。常用的早期和中间融合很简单，但不能完全利用模式之间的互补信息。我们开发了一种分层融合方法，该方法着重于将网络多个维度的特征组合在一起，并探索模式之间的相关性。这些方法分别用于使用公共伽马数据集（Felcus Photophs和OCT）以及Plexelite 9000（Carl Zeis Meditec Inc.）的私人数据集，将这些方法应用于青光眼和糖尿病性视网膜病变分类。我们的分层融合方法在病例中表现最好，并为更好的临床诊断铺平了道路。

在规范空间中对人体进行建模是捕捉和动画的常见实践。但是，当涉及神经辐射场（NERF）时，在规范空间中学习静态NERF是不够的，因为即使人体移动时，即使场景照明是恒定的，身体的照明也会变化。以前的方法通过学习人均嵌入来减轻照明的不一致，但是此操作并不能推广到看不见的姿势。鉴于照明条件在世界空间中是静态的，而人体在规范空间中是一致的，我们提出了一个双空间的nerf，该nerf在场景照明和人体中对两个单独空间的两个MLP进行建模。为了弥合这两个空间，以前的方法主要依赖于线性混合剥皮（LBS）算法。但是，动态神经场的LB的混合重量很难棘手，因此通常用另一个MLP记住，这不会推广到新型姿势。尽管可以借用参数网格（例如SMPL）的混合权重，但插值操作会引入更多的伪像。在本文中，我们建议使用Barycentric映射，该映射可以直接概括为看不见的姿势并出奇地取得了比具有神经混合重量的LB的优势。人类36M和ZJU-MOCAP数据集的定量和定性结果显示了我们方法的有效性。

在将文档解析为下游应用程序的结构化，机器可读格式时，识别非结构化数字文档的布局至关重要。文档布局分析中的最新研究通常依靠计算机视觉模型来理解文档，同时忽略其他信息，例如上下文信息或文档组件的关系，这对于捕获至关重要。我们的DOC-GCN提出了一种有效的方法，可以协调和整合异质方面以进行文档布局分析。我们首先构造图形以明确描述四个主要方面，包括句法，语义，密度和外观/视觉信息。然后，我们应用图形卷积网络来表示信息的各个方面，并使用池进行集成。最后，我们将各个方面汇总，并将它们送入2层MLP，以进行文档布局组件分类。我们的DOC-GCN实现了新的最先进的结果，从而获得了三个广泛使用的DLA数据集。